预训练语言模型的发展极大地推动了机器阅读理解任务的进步。为了充分利用预训练语言模型中的浅层特征，并进一步提升问答模型预测答案的准确性，提出了一种基于BERT的三阶段式问答模型。首先，基于BERT设计了预回答、再回答及答案调整三个阶段；然后，在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成；接着，在再回答阶段使用经BERT充分编码后的深层特征进行答案再生成；最后，在答案调整阶段结合前两个答案产生最终的预测结果。在抽取式问答任务的英文数据集SQuAD2.0和中文数据集CMRC2018上的实验结果显示，该模型在精准匹配度（EM）和F1分数（F1）两个指标上相较于同类基准模型平均提升了1~3个百分点，抽取出的答案片段更加准确。通过融合BERT中的浅层特征与深层特征，该三阶段模型拓展了BERT的抽象表示能力，探索了BERT中的浅层特征在问答模型中的应用，具有结构简单、预测准确、训练和推断速度快等特点。

随着社交网络的发展，对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类，短文本情感分类需要挖掘隐含的情感语义特征，具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征，提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先，利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进，以对文本上下文内联关系进行充分提取，使模型可以获得更丰富的文本特征信息。然后，利用多头注意力机制对多跳记忆网络的结构进行优化，使得在拓展模型深度的同时，挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明，与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比，所提MAMN取得了较优的分类效果，验证了多跳结构对于性能改善的重要作用。